커먼센스 지식 그래프

커먼센스 지식은 인간이 일상 생활과 사회적 상호작용을 통해 습득하고, 의사소통이나 문제 해결 시 당연하게 전제하는 배경 지식을 의미한다. 이는 특정 분야의 전문 지식과 달리, 누구나 공유하는 일반적인 사실과 규칙을 포함한다. 예를 들어, '물은 젖는다', '사람은 잠을 자야 한다', '공을 던지면 떨어진다'와 같은 물리적, 생물학적, 사회적 현상에 대한 기본적 이해가 여기에 해당한다. 이러한 지식은 인공지능 시스템, 특히 자연어처리 분야에서 문장의 함의를 이해하거나 맥락을 파악하는 데 필수적이다.

커먼센스 지식의 범주는 매우 다양하다. 물리적 속성(예: 유리잔은 깨지기 쉽다), 사회적 상호작용(예: 인사할 때 고개를 끄덕인다), 시간적·인과적 관계(예: 비가 오면 길이 미끄러울 수 있다), 심리적 상태(예: 선물을 받으면 기쁘다) 등 광범위한 영역을 포괄한다. 이는 암묵적이고 맥락 의존적인 특성을 지녀 기계 학습 모델이 자동으로 학습하기 어려운 대표적인 지식 유형으로 꼽힌다.

이러한 특성 때문에 커먼센스 지식을 체계적으로 정리하는 것은 인공지능 연구의 오랜 과제였다. 이를 구조화된 형태로 표현한 것이 바로 커먼센스 지식 그래프이다. 이 그래프는 인간의 상식을 컴퓨터가 처리할 수 있는 명시적 형태로 변환함으로써, 기계의 추론 능력을 강화하고 보다 인간다운 질의응답 시스템 및 대화 에이전트를 구현하는 데 기여한다.

커먼센스 지식 그래프는 개념과 엔티티를 노드로, 이들 사이의 의미적 관계를 에지로 표현하는 방향성 그래프 구조를 가집니다. 가장 기본적인 표현 단위는 '주어-관계-목적어' 형태의 트리플입니다. 예를 들어, '커피는 뜨겁다'라는 상식은 '커피'(주어), 'HasProperty'(관계), '뜨겁다'(목적어)라는 트리플로 구조화됩니다. 이러한 트리플들이 서로 연결되어 방대한 지식 네트워크를 형성합니다.

이 그래프 구조는 일반적인 지식 베이스와 달리, 사실 중심이 아닌 상식과 일반화된 지식을 표현하는 데 특화되어 있습니다. 관계의 종류도 'isA'나 'partOf'와 같은 계층적 관계뿐만 아니라, '사용하다', '원하다', '원인'과 같은 행위, 의도, 인과 관계를 포함하는 것이 특징입니다. 이는 인공지능이 텍스트를 단순히 해석하는 것을 넘어, 상황을 이해하고 추론하는 데 필수적인 토대를 제공합니다.

주요 구조적 요소는 다음과 같습니다.

이러한 구조는 자연어처리 모델이 '그는 숟가락을 들고 수프를 먹었다'는 문장을 접했을 때, '숟가락은 수프를 먹는 데 사용된다'는 상식적 관계를 그래프에서 조회하고 활용할 수 있게 합니다. 결과적으로 자연어 이해의 깊이와 맥락 인식 능력을 크게 향상시킵니다.

커먼센스 지식 그래프는 전통적인 지식 베이스와는 그 성격과 구축 목적에서 뚜렷한 차이를 보인다. 기존의 지식 베이스는 주로 백과사전이나 특정 도메인의 사실 정보를 체계적으로 정리하는 데 중점을 두었다. 예를 들어, 위키데이터나 프리베이스는 특정 인물의 생년월일이나 역사적 사건의 날짜, 지리적 위치와 같은 검증 가능한 사실적 지식을 표현한다. 반면, 커먼센스 지식 그래프는 '사람은 보통 잠을 자야 피로를 푼다'거나 '컵은 액체를 담는 데 사용된다'와 같이 인간이 일상에서 암묵적으로 공유하는 일반적이고 당연한 지식을 포착하려 한다.

이러한 차이는 지식의 범위와 표현 방식에서도 나타난다. 전통적 지식 베이스는 엄격한 온톨로지와 정형화된 스키마를 바탕으로 고정된 관계 집합(예: 출생지, 소속)을 사용하는 경향이 있다. 커먼센스 지식 그래프는 더 유연하고 다양한 관계를 포함하며, 인간의 경험과 인지 과정에서 비롯된 관계에 초점을 맞춘다. 예를 들어, '사용하다', '원인이다', '속성이다'와 같은 관계는 물리적, 사회적, 심리적 세계에 대한 우리의 기본적 이해를 반영한다.

구축 방법론에서도 차이가 두드러진다. 기존 지식 베이스는 전문가에 의한 수동 구축이나 대규모 텍스트 코퍼스에서의 정형화된 정보 추출에 크게 의존해 왔다. 커먼센스 지식은 텍스트에 명시적으로 언급되지 않는 경우가 많아 자동 추출이 매우 어렵다. 따라서 커먼센스 지식 그래프는 게임화된 크라우드소싱 플랫폼을 통한 대중의 지식 수집이나, 대규모 언어 모델을 활용한 생성 및 검증과 같은 혁신적인 방법론을 적극적으로 도입하고 있다.

결과적으로, 커먼센스 지식 그래프는 인공지능 시스템이 단순한 사실 검색을 넘어 맥락을 이해하고, 상식을 활용한 논리 추론을 수행하며, 보다 자연스러운 인간-컴퓨터 상호작용을 가능하게 하는 데 기여한다는 점에서 그 의의가 있다. 이는 사실 중심의 기존 지식 베이스가 제공하지 못했던 인지 모델링의 핵심 자원으로 자리 잡고 있다.

커먼센스 지식 그래프를 구축하는 핵심 방법 중 하나는 대규모 텍스트 데이터로부터 자동으로 지식을 추출하는 자동 추출 기법이다. 이는 자연어처리와 기계 학습 기술을 활용하여 방대한 텍스트 코퍼스에서 인간의 상식을 암시하는 패턴을 찾아내고, 이를 구조화된 트리플 형태로 변환하는 과정을 포함한다. 초기에는 규칙 기반 방법이 주로 사용되었으나, 최근에는 딥러닝 모델을 활용한 정교한 추출 방식이 발전하고 있다.

자동 추출 기법은 크게 두 가지 주요 접근법으로 나눌 수 있다. 첫째는 텍스트의 표면적 패턴이나 구문 구조를 분석하여 관계를 추출하는 방법이다. 예를 들어, "X는 Y를 마신다"와 같은 문장 패턴에서 'X'와 'Y' 사이에 '마신다'라는 관계를 추출한다. 둘째는 분포 가설에 기반한 방법으로, 단어나 구가 대규모 텍스트에서 함께 등장하는 분포 정보를 통해 의미적 연관성을 파악하고, 이를 바탕으로 개념 간의 관계를 유추한다.

자동 추출 기법의 구체적인 기술과 활용 데이터는 다음과 같다.

이러한 기법은 효율적으로 대규모 지식을 수집할 수 있다는 장점이 있지만, 텍스트에 명시적으로 드러나지 않은 암묵적 상식을 포착하기 어렵고, 추출된 지식의 정확성과 일관성을 보장하기가 쉽지 않다는 한계도 동시에 지닌다. 따라서 자동 추출된 지식은 후속 검증 과정을 거치거나, 크라우드소싱을 통한 인간 검수와 결합하여 그 품질을 높이는 경우가 많다.

커먼센스 지식 그래프를 구축하는 가장 직접적인 방법 중 하나는 크라우드소싱을 활용하는 것이다. 이는 다수의 일반인을 대상으로 특정 작업을 분배하여 데이터를 수집하는 방식으로, 전문가만이 아닌 광범위한 사람들의 일상적 경험과 지식을 반영할 수 있다는 장점이 있다. 특히 커먼센스 지식은 문화나 사회적 맥락에 따라 다를 수 있으며, 전문 영역보다는 일반인의 생활 경험에서 비롯되는 경우가 많기 때문에 크라우드소싱은 매우 효과적인 수단이 된다.

대표적인 크라우드소싱 플랫폼인 아마존 메커니컬 터크(MTurk)를 통해 연구자들은 대규모의 참여자들에게 특정 개념이나 상황에 대한 상식을 묻는 미션을 배포할 수 있다. 예를 들어, "커피를 마신다"라는 행동의 전형적인 목적은 무엇인지, 또는 "비가 온다"는 사건의 일반적인 결과는 무엇인지와 같은 질문을 통해 수많은 트리플 형태의 지식을 수집한다. 이러한 방식은 자동 추출 기법만으로는 포착하기 어려운 복잡하고 암묵적인 관계를 포괄적으로 수집하는 데 기여한다.

그러나 크라우드소싱에도 몇 가지 한계가 존재한다. 작업 설계가 명확하지 않으면 수집된 지식의 품질이 낮아질 수 있으며, 참여자 간 인지적 편향이나 문화적 차이가 결과에 반영될 수 있다. 또한 대규모 지식 그래프를 구축하기 위해서는 상당한 비용과 시간이 소요된다는 점도 도전 과제이다. 이러한 한계를 극복하기 위해 최근 연구에서는 크라우드소싱을 기계 학습 모델과 결합하여, 초기 데이터를 기반으로 모델을 학습시킨 후 모델이 생성한 지식을 다시 인간이 검증하는 하이브리드 방식을 적극적으로 탐구하고 있다.

기계 학습 접근법은 대규모 텍스트 데이터로부터 커먼센스 지식을 자동으로 추출하거나, 기존 지식 그래프를 보완 및 확장하는 데 활용된다. 이 방법은 수동 구축 방식에 비해 확장성이 높고, 방대한 양의 데이터에서 잠재적 패턴을 발견할 수 있다는 장점을 지닌다. 특히 딥러닝과 자연어처리 기술의 발전으로, 언어 모델을 활용한 지식 추출 및 생성 연구가 활발히 진행되고 있다.

주요 기법으로는 텍스트 마이닝을 통한 관계 추출, 언어 모델의 사전 학습 지식을 활용한 방법, 그리고 생성형 인공지능을 이용한 지식 합성이 있다. 예를 들어, 대규모 코퍼스에서 "X는 Y를 사용한다"와 같은 패턴을 탐지하여 도구 사용에 관한 상식을 추출하거나, 트랜스포머 기반 모델에 프롬프트를 주어 누락된 상식적 관계를 생성해내는 방식이다. 이러한 접근법은 ConceptNet이나 ATOMIC과 같은 기존 그래프를 자동으로 확장하는 데에도 적용된다.

그러나 기계 학습 접근법은 한계를 동반한다. 학습 데이터에 내재된 편향이 지식 그래프에 그대로 반영될 수 있으며, 추출된 지식의 정확성과 신뢰도를 검증하기 어렵다. 또한, 모호하거나 맥락에 민감한 상식을 포착하는 데에는 여전히 어려움이 존재한다. 따라서 최근 연구는 준지도 학습이나 앙상블 학습 등을 통해 추출 품질을 높이거나, 인간의 검증 루프를 통합하는 하이브리드 방식을 모색하는 방향으로 발전하고 있다.

컨셉넷(ConceptNet)은 가장 널리 알려진 오픈 소스 커먼센스 지식 그래프 중 하나이다. 이 프로젝트는 MIT 미디어 랩에서 시작되었으며, OMCS 데이터와 다양한 자동 추출 기법을 통해 구축된 대규모의 다국어 지식 베이스를 제공한다. 컨셉넷은 단어와 구문을 노드로, 그 사이의 의미 관계를 엣지로 표현하는 방향성 그래프 구조를 채택하고 있다.

컨셉넷의 핵심은 일상 언어에서 발견되는 개념 간의 관계를 포착하는 데 있다. 주요 관계 유형으로는 'IsA' (개념의 범주화), 'UsedFor' (용도), 'HasProperty' (속성), 'PartOf' (부분), 'LocatedNear' (위치 근접성) 등이 있다. 예를 들어, '커피'(Coffee)와 '마시다'(Drink)는 'UsedFor' 관계로 연결될 수 있다. 이러한 구조화된 표현은 자연어 이해 시스템이 문장의 표면적 의미를 넘어 상식적 함의를 파악하는 데 도움을 준다.

컨셉넷은 오픈 마인드 커먼 센스 프로젝트를 통해 수집된 크라우드소싱 데이터를 기반으로 하지만, 이후 위키백과와 위키낱말사전과 같은 공개 자원에서 자동으로 지식을 추출하는 방법을 도입하여 규모를 확장해 왔다. 최신 버전인 컨셉넷 5.5는 100개 이상의 언어를 지원하며, 수백만 개의 개념과 수천만 개의 관계를 포함하고 있다.

이 지식 그래프는 질의응답 시스템이나 대화 에이전트와 같은 인공지능 응용 분야에서 널리 활용된다. 특히, 모델이 훈련 데이터에 명시적으로 존재하지 않는 상식적 사실을 필요로 할 때, 컨셉넷은 외부 지식원으로서 추론 과정을 지원하는 중요한 역할을 한다.

ATOMIC은 2019년에 공개된 대규모 커먼센스 지식 그래프이다. "사건" 중심의 추론 지식을 체계적으로 포착하는 것을 목표로 하며, 특히 사회적 상황에서의 인간 행동과 그로 인한 정신 상태 변화에 초점을 맞춘다. 이는 개념 간의 관계를 다루는 ConceptNet과 같은 다른 지식 그래프와 차별화되는 특징이다.

ATOMIC의 핵심은 'If-Then' 형태의 추론 규칙을 구조화하여 저장하는 데 있다. 예를 들어, "X가 Y를 칭찬한다"는 사건이 주어졌을 때, 이로 인해 발생할 수 있는 결과(Then-Effect), Y가 느낄 수 있는 감정(Then-Attribute), 그리고 이전에 발생했을 법한 원인(Before) 등을 다양한 관계 유형으로 분류하여 연결한다. 이를 통해 인공지능 시스템이 사회적 상식을 바탕으로 한 추론을 수행할 수 있는 기반을 제공한다.

이 지식 그래프는 크라우드소싱을 통해 약 88만 개의 추론 규칙을 수집하여 구축되었으며, 자연어처리 분야, 특히 대화 에이전트와 질의응답 시스템의 추론 능력을 향상시키는 데 널리 활용되고 있다. ATOMIC은 기계가 텍스트를 단순히 이해하는 것을 넘어, 그 안에 내포된 사회적 맥락과 인과 관계를 파악하도록 돕는 중요한 자원으로 평가받는다.

Cyc 프로젝트는 1984년에 시작된 장기적인 연구 프로젝트로, 인간의 커먼센스 지식을 포괄적으로 포착하고 형식화하는 것을 목표로 합니다. 이 프로젝트는 인공지능이 상식적 추론을 수행하는 데 필요한 방대한 양의 배경 지식을 체계적으로 구축하려는 시도로, 커먼센스 지식 그래프 분야의 선구적인 작업으로 평가받습니다. Cyc는 'encyclopedia'의 발음에서 유래한 이름으로, 그 규모와 야심을 상징합니다.

이 프로젝트의 핵심은 'CycL'이라는 독자적인 지식 표현 언어와 방대한 지식 베이스입니다. CycL은 술어 논리를 기반으로 하여 사실, 규칙, 추론을 표현할 수 있도록 설계되었습니다. 구축된 지식 베이스는 '상식의 모든 것'을 담으려는 목표 아래, 수백만 개에 이르는 개념과 사실을 포함하고 있으며, 이는 시간, 공간, 물리, 사회적 상호작용 등 다양한 영역을 포괄합니다.

Cyc 프로젝트는 기존의 전문가 시스템이나 데이터베이스와 달리, 명시적이고 구조화된 형태로 상식을 표현하고 이를 통해 자동 추론을 가능하게 하는 데 초점을 맞췄습니다. 이를 통해 자연어처리 시스템이 문장의 숨은 의미를 이해하거나, 질의응답 시스템이 맥락에 맞는 답변을 생성하는 데 기여할 수 있습니다. 그러나 방대한 지식을 수작업으로 구축해야 하는 어려움, 지식의 포괄성과 정확성 유지 문제, 그리고 복잡한 표현 언어의 실용적 적용 한계 등은 프로젝트가 직면한 주요 과제였습니다.

Cyc의 지식 베이스와 기술은 이후 상업적 회사인 Cycorp를 통해 관리 및 발전되었으며, 연구 커뮤니티에 부분적으로 공개되기도 했습니다. 이 프로젝트는 ConceptNet이나 ATOMIC과 같은 후속 커먼센스 지식 그래프 프로젝트들에 방법론적, 철학적 기반을 제공했다는 점에서 중요한 의미를 지닙니다.

커먼센스 지식 그래프는 자연어 이해의 핵심 과제를 해결하는 데 중요한 역할을 한다. 자연어 이해는 단순히 문장의 표면적 의미를 해석하는 것을 넘어, 화자의 의도와 문장에 암묵적으로 담긴 맥락을 파악하는 것을 목표로 한다. 이를 위해서는 언어 자체에 대한 지식뿐만 아니라 세상에 대한 광범위한 상식이 필요하다. 예를 들어, "그는 식당에 들어가서 메뉴판을 들었다"라는 문장을 이해하려면, 사람이 식당에 가면 주로 음식을 먹기 위해 메뉴를 확인한다는 당연한 사실에 대한 지식이 전제되어야 한다. 커먼센스 지식 그래프는 바로 이러한 일상적이고 당연한 사실들을 체계적으로 제공함으로써 인공지능 모델의 이해 수준을 높인다.

자연어 이해 모델에 커먼센스 지식을 통합하는 방식은 다양하다. 전통적인 접근법은 질의응답 시스템이나 텍스트 함의 인식 과제에서, 그래프를 외부 지식원으로 참조하여 추론에 활용하는 것이다. 예를 들어, "아이는 공을 발로 찼다"와 "공이 골대 안으로 들어갔다"라는 두 문장의 논리적 관계를 판단할 때, '차다'는 행위가 일반적으로 물체를 움직이게 한다는 물리적 상식 지식을 그래프에서 조회함으로써 두 문장이 함의 관계에 있음을 더 정확히 추론할 수 있다. 최근에는 사전 학습 언어 모델의 내부 매개변수에 상식을 암묵적으로 학습시키거나, 모델의 입력 단계에서 그래프 정보를 주입하는 하이브리드 방식이 활발히 연구되고 있다.

이러한 적용은 대화 에이전트와 같은 실용적 시스템에서 그 성과가 두드러진다. 사용자가 "방 안이 너무 더워"라고 말했을 때, 단순히 온도에 대한 진술로만 이해하는 것을 넘어, 사용자가 창문을 열거나 에어컨을 켜고 싶어 할 가능성을 추론할 수 있어야 자연스러운 대응이 가능하다. 커먼센스 지식 그래프는 '더움'이라는 개념과 '시원해지기 위한 행동' 간의 인과 관계를 제공함으로써 에이전트가 "창문을 열어드릴까요?"와 같은 상황에 맞는 응답을 생성하도록 돕는다. 결국, 인간 수준의 자연어 이해를 달성하기 위해서는 방대하고 정교한 커먼센스 지식의 체계적 활용이 필수적인 과제로 남아 있다.

커먼센스 지식 그래프는 질의응답 시스템의 성능과 이해력을 획기적으로 향상시키는 핵심 자원으로 활용된다. 기존의 정보 검색 기반 질의응답 시스템은 문서 내에서 명시적인 사실을 찾아 답변하는 데 제한적이었으나, 커먼센스 지식을 통합함으로써 사용자의 질문에 내재된 상식적 전제를 이해하고 논리적 추론을 수행할 수 있게 된다. 예를 들어, "비가 오는데 왜 우산을 들고 나가지 않니?"라는 질문에 대해, 시스템은 날씨와 우산의 관계, 즉 '비가 오면 우산을 사용한다'는 기본적인 상식을 이해해야 올바른 답변을 생성할 수 있다.

이러한 시스템의 구현 방식은 다양하다. 한 가지 접근법은 커먼센스 지식 그래프를 사전 지식 베이스로 활용하여, 질문과 후보 답변을 그래프 내의 개념과 연결하고 관계 경로를 탐색해 가장 타당한 답을 선택하는 것이다. 다른 방법으로는 기계 학습 모델을 훈련시킬 때 ConceptNet이나 ATOMIC과 같은 대규모 커먼센스 자원을 추가 데이터로 제공하여, 모델 자체의 내재적 추론 능력을 강화하는 방식이 있다. 이를 통해 모델은 학습 데이터에 명시적으로 나와 있지 않은 상황에 대해서도 상식적 판단을 내릴 수 있게 된다.

커먼센스 지식 그래프 기반 질의응답 시스템의 주요 응용 분야는 다음과 같다.

그러나 이러한 시스템은 여전히 커먼센스 지식의 불완전성, 모호성 처리, 그리고 맥락에 따른 지식의 적절한 선택과 같은 과제에 직면해 있다. 효과적인 질의응답을 위해서는 단순히 지식을 보유하는 것을 넘어, 상황에 맞게 동적으로 지식을 활성화하고 조합하는 고급 추론 엔진의 개발이 지속적으로 요구된다.

커먼센스 지식 그래프는 대화 에이전트나 챗봇이 보다 자연스럽고 인간다운 대화를 생성하고 이해하는 데 핵심적인 역할을 한다. 기존의 규칙 기반이나 통계적 모델만으로는 대화의 맥락을 파악하거나 사용자의 암묵적 의도를 이해하는 데 한계가 있었다. 예를 들어, "피자가 너무 뜨거워"라는 사용자 발화에 대해, 커먼센스 지식 그래프는 '뜨거운 물건은 식히면 된다', '피자는 먹을 수 있는 음식이다'와 같은 상식을 제공하여 "조금 식혀 드세요"와 같은 적절한 응답을 생성하도록 돕는다.

대화 에이전트에 커먼센스 지식 그래프를 통합하는 주요 접근법은 다음과 같다.

이러한 기술을 통해 대화 에이전트는 단순한 패턴 매칭을 넘어서, 상황에 맞는 공감 표현을 하거나, 논리적 일관성을 유지하며 대화를 이어가는 능력을 갖출 수 있다. 특히 장기적 대화 관리나 복잡한 작업 지시를 수행하는 에이전트에게는 필수적인 요소로 여겨진다. 그러나 여전히 그래프의 불완전성, 실시간 검색의 효율성, 그리고 추출된 지식을 자연스러운 언어로 변환하는 문제는 지속적인 연구 과제로 남아 있다.

커먼센스 지식 그래프는 인공지능 시스템, 특히 추론 시스템의 핵심 기반 지식원으로 활용된다. 기존의 데이터베이스나 전문가 시스템이 명확한 규칙과 사실에 기반한 논리적 추론에 강점을 보인다면, 커먼센스 지식 그래프는 인간의 일상적 사고를 모방한 유연한 추론을 가능하게 한다. 이는 시스템이 명시적으로 주어지지 않은 정보를 배경 지식으로 활용해 결론을 도출하거나, 주어진 상황의 함의를 이해하는 데 필수적이다.

커먼센스 기반 추론 시스템의 주요 작동 방식은 그래프 탐색과 규칙 적용의 결합이다. 시스템은 사용자의 질문이나 주어진 상황을 엔티티와 관계로 분해한 후, 지식 그래프 내에서 관련된 노드와 간선을 탐색한다. 예를 들어, "커피를 마셨다"는 사실로부터 "목이 덜 마르다", "카페인을 섭취했다", "컵을 사용했을 것이다"와 같은 추가 사실을 그래프의 관계망을 통해 연쇄적으로 추론해 낼 수 있다. 이러한 과정은 단순한 사실 검색을 넘어, 인과 관계, 목적, 사건의 전형적 순서 등을 이해하는 데 기여한다.

주요 응용 사례로는 다음이 있다.

그러나 커먼센스 지식 그래프를 활용한 추론에는 한계도 존재한다. 지식의 불완전성으로 인해 추론 경로가 단절될 수 있으며, 맥락에 따라 달라지는 상식적 판단(예: "비가 온다"는 상황에 따라 좋을 수도 나쁠 수도 있음)을 처리하는 것은 여전히 어려운 과제다. 또한, 추론 과정의 투명성과 해석 가능성을 보장하는 것도 중요한 연구 주제로 남아 있다.

커먼센스 지식 그래프의 구축과 활용에서 가장 큰 장애물 중 하나는 바로 그 방대한 규모와 포괄성의 문제이다. 인간의 상식은 무한에 가깝게 광범위하며, 문화와 사회적 맥락에 따라 끊임없이 변화하고 확장된다. 따라서 이러한 지식을 모두 포착하여 하나의 그래프 안에 담아내는 것은 본질적으로 매우 어려운 과제이다. 기존의 지식 베이스가 특정 도메인의 사실에 집중하는 반면, 커먼센스 지식은 일상의 모든 측면을 아우르기 때문에 그 범위를 정의하는 것 자체가 복잡하다.

이러한 포괄성의 문제는 데이터 수집 방식에서도 드러난다. 크라우드소싱을 통한 수동 구축은 정확도는 높을 수 있으나, 필요한 지식의 규모를 고려할 때 시간과 비용 측면에서 확장성이 매우 제한적이다. 반면, 대규모 텍스트 코퍼스로부터 자연어처리 기술을 이용해 자동 추출하는 방법은 규모를 확보할 수 있지만, 텍스트에 명시적으로 드러나지 않는 함축적 상식을 포착하는 데 한계가 있다. 예를 들어, "사람은 물속에서 숨을 쉴 수 없다"는 사실은 문서에 자주 서술되지 않기 때문에 추출되기 어렵다.

결과적으로, 대부분의 커먼센스 지식 그래프는 필연적으로 불완전한 상태를 유지한다. ConceptNet이나 ATOMIC과 같은 주요 프로젝트도 인간 상식의 일부분만을 체계화했다. 이는 인공지능 시스템, 특히 질의응답 시스템이나 대화 에이전트가 예상치 못한 맥락에서 상식적 추론에 실패하는 주요 원인이 된다. 시스템이 훈련되지 않은, 그래프에 존재하지 않는 관계에 직면하면 올바른 판단을 내리기 어렵다.

따라서 최근 연구는 그래프의 규모를 극복하기 위해 기계 학습 기반의 보완 전략에 주목한다. 대표적으로 언어 모델을 사전 학습시켜 그래프에 명시적으로 존재하지 않는 상식 관계를 암묵적으로 보유하게 하거나, 소수의 예시만으로 새로운 상식을 그래프에 자동으로 확장하는 소수 샷 학습 기법 등이 탐구되고 있다. 궁극적인 목표는 정적이고 제한된 그래프를 넘어, 동적으로 진화하며 맥락을 이해할 수 있는 지식 체계를 구축하는 것이다.

커먼센스 지식은 본질적으로 모호한 경우가 많습니다. 예를 들어, "새가 날다"라는 사실은 일반적으로 참이지만, 타조나 펭귄과 같은 비행 조류는 해당되지 않습니다. 이러한 예외와 변형을 모두 포괄적으로 표현하는 것은 지식 그래프 구축의 주요 난제입니다. 또한 "차가운"이라는 개념은 음식, 날씨, 사람의 태도 등 다양한 맥락에서 다른 의미를 지닐 수 있어, 단일한 정의나 관계로 규정하기 어렵습니다.

더 큰 문제는 지식의 맥락 의존성입니다. 많은 상식적 판단은 특정 상황에 따라 달라집니다. "회의실에 들어간다"는 행동은 일반적으로 문을 열고 들어가는 것을 의미하지만, 문이 잠겨 있거나 유리문인 경우 등 구체적인 맥락에 따라 실행 방법이 달라질 수 있습니다. 커먼센스 지식 그래프는 이러한 무한히 많은 잠재적 맥락을 모두 사전에 정의하고 저장하기에는 한계가 있습니다.

이러한 모호성과 맥락 의존성은 기계 학습 모델이 커먼센스 지식 그래프를 학습하고 활용하는 과정에서 오류를 유발할 수 있습니다. 모델이 지식의 예외 상황을 고려하지 못하거나, 적절한 맥락을 선택하지 못하면 부자연스럽거나 논리적으로 틀린 추론을 만들어낼 수 있습니다. 따라서 최근 연구는 고정된 사실의 나열을 넘어, 상황에 따른 지식의 활성화와 조합을 가능하게 하는 동적 표현 방법에 주목하고 있습니다.

커먼센스 지식 그래프의 품질과 유용성을 평가하는 것은 여러 근본적인 어려움에 직면한다. 첫째, 커먼센스 지식 자체가 암묵적이고 맥락 의존적이기 때문에 정답의 기준을 명확히 정의하기 어렵다. "사람은 음식을 먹는다"와 같은 사실은 일반적으로 참이지만, 특정 상황이나 문화에서는 예외가 존재할 수 있다. 이러한 모호성과 예외성으로 인해 지식의 정확성을 이진적으로 평가하는 전통적인 방법은 한계를 보인다.

둘째, 평가의 범위와 깊이를 결정하기 어렵다. 평가는 단순히 사실적 정확성뿐만 아니라 지식의 포괄성, 일관성, 그리고 실제 응용 프로그램에서의 유용성까지 고려해야 한다. 예를 들어, 질의응답 시스템을 테스트할 때 시스템이 그래프에서 올바른 사실을 검색했는지, 그리고 그 사실을 적절히 추론에 활용했는지를 종합적으로 판단해야 한다.

이를 해결하기 위해 연구 커뮤니티는 다양한 평가 방법론을 개발해 왔다. 주요 방법은 다음과 같다.

그럼에도 불구하고, 평가의 표준화와 재현성 확보는 지속적인 과제로 남아 있다. 서로 다른 연구 그룹이 구축한 그래프와 평가 방법을 직접 비교하기 어려우며, 이는 커먼센스 인공지능 연구의 진전을 저해하는 요인으로 작용한다. 따라서 보다 객관적이고 포괄적인 평가 프레임워크와 공유 가능한 벤치마크의 개발이 중요한 연구 방향이다.